<!doctype html>



  


<html class="theme-next mist use-motion" lang="zh-Hans">
<head>
  <meta charset="UTF-8"/>
<meta http-equiv="X-UA-Compatible" content="IE=edge" />
<meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=1"/>



<meta http-equiv="Cache-Control" content="no-transform" />
<meta http-equiv="Cache-Control" content="no-siteapp" />















  
  
  <link href="/blog/lib/fancybox/source/jquery.fancybox.css?v=2.1.5" rel="stylesheet" type="text/css" />




  
  
  
  

  
    
    
  

  

  

  

  

  
    
    
    <link href="//fonts.googleapis.com/css?family=Lato:300,300italic,400,400italic,700,700italic&subset=latin,latin-ext" rel="stylesheet" type="text/css">
  






<link href="/blog/lib/font-awesome/css/font-awesome.min.css?v=4.6.2" rel="stylesheet" type="text/css" />

<link href="/blog/css/main.css?v=5.1.0" rel="stylesheet" type="text/css" />


  <meta name="keywords" content="Mongo," />








  <link rel="shortcut icon" type="image/x-icon" href="/blog/favicon.ico?v=5.1.0" />






<meta name="description" content="1、Mongo的存储方案  MongoDB采用了内存映射的方式来管理存储内存。内存映射是OS通过mmap在内存中创建一个数据文件，这样就把文件映射到一个虚拟内存的区域。大致的原理如下：MongoDB在与实际的物理内存之间通过mmap虚拟了一个虚拟内存。MongoDB不直接与物理内存交互，而是直接与虚拟内存（Virtual Memory）交互。 2、Mongo的读写读MongoDB从virtual">
<meta name="keywords" content="Mongo">
<meta property="og:type" content="article">
<meta property="og:title" content="Mongo存储原理">
<meta property="og:url" content="https://gitee.com/shuhao/2018/03/13/Mongo存储原理/index.html">
<meta property="og:site_name" content="Niki">
<meta property="og:description" content="1、Mongo的存储方案  MongoDB采用了内存映射的方式来管理存储内存。内存映射是OS通过mmap在内存中创建一个数据文件，这样就把文件映射到一个虚拟内存的区域。大致的原理如下：MongoDB在与实际的物理内存之间通过mmap虚拟了一个虚拟内存。MongoDB不直接与物理内存交互，而是直接与虚拟内存（Virtual Memory）交互。 2、Mongo的读写读MongoDB从virtual">
<meta property="og:locale" content="zh-Hans">
<meta property="og:image" content="https://gitee.com/blog/images/mongo/storage_1.png">
<meta property="og:image" content="https://gitee.com/blog/images/mongo/storage_2.png">
<meta property="og:image" content="https://gitee.com/blog/images/mongo/storage_3.png">
<meta property="og:image" content="https://gitee.com/blog/images/mongo/storage_4.png">
<meta property="og:image" content="https://gitee.com/blog/images/mongo/storage_5.png">
<meta property="og:updated_time" content="2018-03-13T02:55:53.389Z">
<meta name="twitter:card" content="summary">
<meta name="twitter:title" content="Mongo存储原理">
<meta name="twitter:description" content="1、Mongo的存储方案  MongoDB采用了内存映射的方式来管理存储内存。内存映射是OS通过mmap在内存中创建一个数据文件，这样就把文件映射到一个虚拟内存的区域。大致的原理如下：MongoDB在与实际的物理内存之间通过mmap虚拟了一个虚拟内存。MongoDB不直接与物理内存交互，而是直接与虚拟内存（Virtual Memory）交互。 2、Mongo的读写读MongoDB从virtual">
<meta name="twitter:image" content="https://gitee.com/blog/images/mongo/storage_1.png">



<script type="text/javascript" id="hexo.configurations">
  var NexT = window.NexT || {};
  var CONFIG = {
    root: '/blog/',
    scheme: 'Mist',
    sidebar: {"position":"right","display":"post","offset":12,"offset_float":0,"b2t":false,"scrollpercent":false},
    fancybox: true,
    motion: true,
    duoshuo: {
      userId: '0',
      author: '博主'
    },
    algolia: {
      applicationID: '',
      apiKey: '',
      indexName: '',
      hits: {"per_page":10},
      labels: {"input_placeholder":"Search for Posts","hits_empty":"We didn't find any results for the search: ${query}","hits_stats":"${hits} results found in ${time} ms"}
    }
  };
</script>



  <link rel="canonical" href="https://gitee.com/shuhao/2018/03/13/Mongo存储原理/"/>





  <title> Mongo存储原理 | Niki </title>
</head>

<body itemscope itemtype="http://schema.org/WebPage" lang="zh-Hans">

  





  <script type="text/javascript">
    var _hmt = _hmt || [];
    (function() {
      var hm = document.createElement("script");
      hm.src = "https://hm.baidu.com/hm.js?cb9f0585e406f878cb2f29c89ad3cdb7";
      var s = document.getElementsByTagName("script")[0];
      s.parentNode.insertBefore(hm, s);
    })();
  </script>










  
  
    
  

  <div class="container one-collumn sidebar-position-right page-post-detail ">
    <div class="headband"></div>

    <header id="header" class="header" itemscope itemtype="http://schema.org/WPHeader">
      <div class="header-inner"><div class="site-brand-wrapper">
  <div class="site-meta ">
    

    <div class="custom-logo-site-title">
      <a href="/blog/"  class="brand" rel="start">
        <span class="logo-line-before"><i></i></span>
        <span class="site-title">Niki</span>
        <span class="logo-line-after"><i></i></span>
      </a>
    </div>
      
        <p class="site-subtitle">天道酬勤</p>
      
  </div>

  <div class="site-nav-toggle">
    <button>
      <span class="btn-bar"></span>
      <span class="btn-bar"></span>
      <span class="btn-bar"></span>
    </button>
  </div>
</div>

<nav class="site-nav">
  

  
    <ul id="menu" class="menu">
      
        
        <li class="menu-item menu-item-home">
          <a href="/blog/" rel="section">
            
              <i class="menu-item-icon fa fa-fw fa-home"></i> <br />
            
            首页
          </a>
        </li>
      
        
        <li class="menu-item menu-item-categories">
          <a href="/blog/categories" rel="section">
            
              <i class="menu-item-icon fa fa-fw fa-categories"></i> <br />
            
            分类
          </a>
        </li>
      
        
        <li class="menu-item menu-item-archives">
          <a href="/blog/archives" rel="section">
            
              <i class="menu-item-icon fa fa-fw fa-archive"></i> <br />
            
            归档
          </a>
        </li>
      
        
        <li class="menu-item menu-item-tags">
          <a href="/blog/tags" rel="section">
            
              <i class="menu-item-icon fa fa-fw fa-tags"></i> <br />
            
            标签
          </a>
        </li>
      

      
    </ul>
  

  
</nav>



 </div>
    </header>

    <main id="main" class="main">
      <div class="main-inner">
        <div class="content-wrap">
          <div id="content" class="content">
            

  <div id="posts" class="posts-expand">
    

  

  
  
  

  <article class="post post-type-normal " itemscope itemtype="http://schema.org/Article">
    <link itemprop="mainEntityOfPage" href="https://gitee.com/shuhao/blog/2018/03/13/Mongo存储原理/">

    <span hidden itemprop="author" itemscope itemtype="http://schema.org/Person">
      <meta itemprop="name" content="Fang ShuHao">
      <meta itemprop="description" content="">
      <meta itemprop="image" content="/blog/images/head.jpg">
    </span>

    <span hidden itemprop="publisher" itemscope itemtype="http://schema.org/Organization">
      <meta itemprop="name" content="Niki">
    </span>

    
      <header class="post-header">

        
        
          <h1 class="post-title" itemprop="name headline">
            
            
              
                Mongo存储原理
              
            
          </h1>
        

        <div class="post-meta">
          <span class="post-time">
            
              <span class="post-meta-item-icon">
                <i class="fa fa-calendar-o"></i>
              </span>
              
                <span class="post-meta-item-text">发表于</span>
              
              <time title="创建于" itemprop="dateCreated datePublished" datetime="2018-03-13T08:19:05+08:00">
                2018-03-13
              </time>
            

            

            
          </span>

          
            <span class="post-category" >
            
              <span class="post-meta-divider">|</span>
            
              <span class="post-meta-item-icon">
                <i class="fa fa-folder-o"></i>
              </span>
              
                <span class="post-meta-item-text">分类于</span>
              
              
                <span itemprop="about" itemscope itemtype="http://schema.org/Thing">
                  <a href="/blog/categories/Mongo/" itemprop="url" rel="index">
                    <span itemprop="name">Mongo</span>
                  </a>
                </span>

                
                
              
            </span>
          

          
            
          

          
          

          

          

          

        </div>
      </header>
    


    <div class="post-body" itemprop="articleBody">

      
      

      
        <h2 id="1、Mongo的存储方案"><a href="#1、Mongo的存储方案" class="headerlink" title="1、Mongo的存储方案"></a>1、Mongo的存储方案</h2><p>  MongoDB采用了内存映射的方式来管理存储内存。内存映射是OS通过mmap在内存中创建一个数据文件，这样就把文件映射到一个虚拟内存的区域。大致的原理如下：<br>MongoDB在与实际的物理内存之间通过mmap虚拟了一个虚拟内存。MongoDB不直接与物理内存交互，而是直接与虚拟内存（Virtual Memory）交互。</p>
<h2 id="2、Mongo的读写"><a href="#2、Mongo的读写" class="headerlink" title="2、Mongo的读写"></a>2、Mongo的读写</h2><h4 id="读"><a href="#读" class="headerlink" title="读"></a>读</h4><p>MongoDB从virtual memory中读数据，由virtual memory映射到具体的内存中。如果数据不在内存中，则触发page full 操作，从磁盘将数据加载到内存和virtual memory中。</p>
<h4 id="写"><a href="#写" class="headerlink" title="写"></a>写</h4><p>MongoDB负责与Virtual Memory交互，有vitrual memory来和OS交互处理数据。处理数据的方式：</p>
<ul>
<li>如果内存容量充足，则将数据写入到内存中；</li>
<li>内存容量不足则触发swap-out操作：如果数据是纯内存数据，则写入到SWAP分区，否则将数据写入到磁盘。MongoDB默认的内存大小为总内存的5%。</li>
</ul>
<h2 id="3、Mongo的内存模型"><a href="#3、Mongo的内存模型" class="headerlink" title="3、Mongo的内存模型"></a>3、Mongo的内存模型</h2><img src="/blog/images/mongo/storage_1.png">
<p>这张图描述了MongoDB的内存映射模型。黄色的是物理内存，绿色的是virtual memory。绿色下面的就是文件地址，在下面就是具体的数据库在磁盘中保存的文件。虚拟内存对于进程来说，是一个物理内存的抽象，寻址空间为2^64</p>
<img src="/blog/images/mongo/storage_2.png">
<img src="/blog/images/mongo/storage_3.png">
<p>磁盘上的文件由extents组成，每个collection有一个或多个extents。MongoDB在分配集合空间的时候也是以extents为单位进行分配的。<br>WiredTigger引擎将集合，文档，索引数据分开管理移入移出RAM。块（extents）的默认大小为4kb<br>MongoDB的数据文件是以数据库为名称.0 .1 .2为扩展名的文件。如mall数据库的文件，在文件系统里存储的文件为 mall.0、 mall.1、 mall.2…….<br>MongoDB为数据文件分配空间也是有策略的。默认数据文件分配的最大存储空间为2G，并且下个存储文件的大小是上个已分配存储文件的2倍（64M–&gt;128M–&gt;256M）<br>当然，如果数据大小是恒定速度增加的，可以通过 -norealloc参数关闭这种分配文件的策略。</p>
<img src="/blog/images/mongo/storage_4.png">
<p>这张图可以看出来extent文件以链表的形式存储而且还是双向链表。<br>在MongoDB的数据库文件里（/data/db），我们可以看到.ns后缀的文件。这个是数据库的命名空间文件（ns就是namespace的缩写）<br>每个数据库有这样一个文件。存储所有的集合和索引的命名空间。如mall.ns<br>默认情况下，.ns文件的大小限制为16M，大约可以存储24000个命名空间。所以数据库中集合和索引的个数最大为24000个，但是可以通过mongod的 -nssize选项修改这个值。</p>
<img src="/blog/images/mongo/storage_5.png">
<ol>
<li>由于内存映射，MongoDB需要处理的数据都在内存中，简化了MongoDB访问和修改的逻辑。</li>
<li>MongoDB只与虚拟内存交互，具体的文件操作由OS处理。</li>
<li>虚拟内存的大小=所有文件大小+其他的内存开销</li>
<li>如果journal开启后，虚拟内存大小差不多翻倍</li>
</ol>
<p>使用MMF的好处：</p>
<ol>
<li>MongoDB不用自己管理内存和调度</li>
<li>MMF有LRU策略</li>
<li>重启过程中cache仍然存在</li>
</ol>
<p>使用MMF的坏处：</p>
<ol>
<li>RAM使用受磁盘碎片影响</li>
<li>无法自己优化调度算法，只能使用LRU算法</li>
</ol>
<h2 id="4、MongoDB的一些内存参数以及含义："><a href="#4、MongoDB的一些内存参数以及含义：" class="headerlink" title="4、MongoDB的一些内存参数以及含义："></a>4、MongoDB的一些内存参数以及含义：</h2><p>我们可以使用db.stats()来查看这些参数：<br>{<br> “db” : “mall”,<br> “collections” : 37,<br> “objects” : 317894523, #文档总个数<br> “avgObjSize” : 232.3416429039893, #单位是字节<br> “dataSize” : 73860135744, #集合中所有数据实际大小(包括padding factor为每个文档分配的额外空间以允许文档增长)。该值在文档size变小的时候，这个值不会减少，除非文档被删除，或者执行compact或者repairDatabase操作<br> “storageSize” : 97834319392, #分配给集合的空间大小(包括为集合增长预留的额外空间和未分配的已删除空间，即不会因为文档size变小或者删除而减小)，实际上从数据文件中分配给集合的空间是以块为单位，也称之为extents，即分配的extents的大小<br> “numExtents” : 385,<br> “indexes” : 86,<br> “indexSize” : 58687466992,<br> “fileSize” : 182380920832, #所有数据文件大小之和，不包括命名空间文件(ns文件)<br> “nsSizeMB” : 16,<br> “dataFileVersion” : {<br> “major” : 4,<br> “minor” : 5<br> },<br> “ok” : 1<br>}</p>
<p>具体的集合可以通过 db.goods.stats()查看<br>{<br> “ns” : “mall.goods”,<br> “count” : 145352932,<br> “size” : 37060264352, ＃实际数据大小，不包括索引<br> “avgObjSize” : 254.967435758365,<br> “storageSize” : 45794676448, #预分配的数据存储空间<br> “numExtents” : 42,<br> “nindexes” : 4,<br> “lastExtentSize” : 2146426864,<br> “paddingFactor” : 1, #当文档因更新size增长时事先padding可以提速，减少碎片的产生<br> “systemFlags” : 1,<br> “userFlags” : 0,<br> “totalIndexSize” : 31897944512,<br> “indexSizes” : {<br> “<em>id</em>“ : 6722168208,<br> “action_1_time_1” : 8606482752,<br> “gz_id_1_action_1_time_1” : 10753778336,<br> “time_1” : 5815515216<br> },<br> “ok” : 1<br>}</p>
<p> 还可以通过mongostat命令来监控MongoDB的内存使用情况<br>shell&gt; mongostat<br>mapped vsize res    faults<br>940g   1893g  21.9g  0</p>
<p>mapped是映射到内存的数据大小<br>vsize是虚拟内存的大小<br>res是占用的物理内存大小<br>可以看到vsize大概是mapped的2倍。因为开启了journal的原因</p>
<p>注：如果操作不能在内存中完成，结果faults列的数值不会是0，视大小可能有性能问题。</p>

      
    </div>

    <div>
      
        

      
    </div>

    <div>
      
        

      
    </div>


    <footer class="post-footer">
      
        <div class="post-tags">
          
            <a href="/blog/tags/Mongo/" rel="tag"># Mongo</a>
          
        </div>
      

      
        
      

      
        <div class="post-nav">
          <div class="post-nav-next post-nav-item">
            
              <a href="/blog/2018/03/13/Mongo事务分析/" rel="next" title="Mongo事务分析">
                <i class="fa fa-chevron-left"></i> Mongo事务分析
              </a>
            
          </div>

          <span class="post-nav-divider"></span>

          <div class="post-nav-prev post-nav-item">
            
              <a href="/blog/2018/03/13/bat文件编写总结/" rel="prev" title="bat文件编写总结">
                bat文件编写总结 <i class="fa fa-chevron-right"></i>
              </a>
            
          </div>
        </div>
      

      
      
    </footer>
  </article>



    <div class="post-spread">
      
    </div>
  </div>

          
          </div>
          


          
  <div class="comments" id="comments">
    
      <div id="lv-container" data-id="city" data-uid="MTAyMC8zNjY5NS8xMzIzMA=="></div>
    
  </div>


        </div>
        
          
  
  <div class="sidebar-toggle">
    <div class="sidebar-toggle-line-wrap">
      <span class="sidebar-toggle-line sidebar-toggle-line-first"></span>
      <span class="sidebar-toggle-line sidebar-toggle-line-middle"></span>
      <span class="sidebar-toggle-line sidebar-toggle-line-last"></span>
    </div>
  </div>

  <aside id="sidebar" class="sidebar">
    <div class="sidebar-inner">

      

      
        <ul class="sidebar-nav motion-element">
          <li class="sidebar-nav-toc sidebar-nav-active" data-target="post-toc-wrap" >
            文章目录
          </li>
          <li class="sidebar-nav-overview" data-target="site-overview">
            站点概览
          </li>
        </ul>
      

      <section class="site-overview sidebar-panel">
        <div class="site-author motion-element" itemprop="author" itemscope itemtype="http://schema.org/Person">
          <img class="site-author-image" itemprop="image"
               src="/blog/images/head.jpg"
               alt="Fang ShuHao" />
          <p class="site-author-name" itemprop="name">Fang ShuHao</p>
           
              <p class="site-description motion-element" itemprop="description"></p>
          
        </div>
        <nav class="site-state motion-element">
        
          
            <div class="site-state-item site-state-posts">
              <a href="/blog/archives">
                <span class="site-state-item-count">135</span>
                <span class="site-state-item-name">日志</span>
              </a>
            </div>
          

          
            <div class="site-state-item site-state-categories">
              <a href="/blog/categories">
                <span class="site-state-item-count">35</span>
                <span class="site-state-item-name">分类</span>
              </a>
            </div>
          

          
            <div class="site-state-item site-state-tags">
              <a href="/blog/tags">
                <span class="site-state-item-count">93</span>
                <span class="site-state-item-name">标签</span>
              </a>
            </div>
          

        </nav>

        

        <div class="links-of-author motion-element">
          
        </div>

        
        

        
        

        


      </section>

      
      <!--noindex-->
        <section class="post-toc-wrap motion-element sidebar-panel sidebar-panel-active">
          <div class="post-toc">

            
              
            

            
              <div class="post-toc-content"><ol class="nav"><li class="nav-item nav-level-2"><a class="nav-link" href="#1、Mongo的存储方案"><span class="nav-number">1.</span> <span class="nav-text">1、Mongo的存储方案</span></a></li><li class="nav-item nav-level-2"><a class="nav-link" href="#2、Mongo的读写"><span class="nav-number">2.</span> <span class="nav-text">2、Mongo的读写</span></a><ol class="nav-child"><li class="nav-item nav-level-4"><a class="nav-link" href="#读"><span class="nav-number">2.0.1.</span> <span class="nav-text">读</span></a></li><li class="nav-item nav-level-4"><a class="nav-link" href="#写"><span class="nav-number">2.0.2.</span> <span class="nav-text">写</span></a></li></ol></li></ol></li><li class="nav-item nav-level-2"><a class="nav-link" href="#3、Mongo的内存模型"><span class="nav-number">3.</span> <span class="nav-text">3、Mongo的内存模型</span></a></li><li class="nav-item nav-level-2"><a class="nav-link" href="#4、MongoDB的一些内存参数以及含义："><span class="nav-number">4.</span> <span class="nav-text">4、MongoDB的一些内存参数以及含义：</span></a></li></ol></div>
            

          </div>
        </section>
      <!--/noindex-->
      

      

    </div>
  </aside>


        
      </div>
    </main>

    <footer id="footer" class="footer">
      <div class="footer-inner">
        <div class="copyright" >
  
  &copy; 
  <span itemprop="copyrightYear">2019</span>
  <span class="with-love">
    <i class="fa fa-heart"></i>
  </span>
  <span class="author" itemprop="copyrightHolder">Fang ShuHao</span>
</div>


<div class="powered-by">
  由 <a class="theme-link" href="https://hexo.io">Hexo</a> 强力驱动
</div>

<div class="theme-info">
  主题 -
  <a class="theme-link" href="https://github.com/iissnan/hexo-theme-next">
    NexT.Mist
  </a>
</div>


        

        
      </div>
    </footer>

    
      <div class="back-to-top">
        <i class="fa fa-arrow-up"></i>
        
      </div>
    
    
  </div>

  

<script type="text/javascript">
  if (Object.prototype.toString.call(window.Promise) !== '[object Function]') {
    window.Promise = null;
  }
</script>









  




  
  <script type="text/javascript" src="/blog/lib/jquery/index.js?v=2.1.3"></script>

  
  <script type="text/javascript" src="/blog/lib/fastclick/lib/fastclick.min.js?v=1.0.6"></script>

  
  <script type="text/javascript" src="/blog/lib/jquery_lazyload/jquery.lazyload.js?v=1.9.7"></script>

  
  <script type="text/javascript" src="/blog/lib/velocity/velocity.min.js?v=1.2.1"></script>

  
  <script type="text/javascript" src="/blog/lib/velocity/velocity.ui.min.js?v=1.2.1"></script>

  
  <script type="text/javascript" src="/blog/lib/fancybox/source/jquery.fancybox.pack.js?v=2.1.5"></script>


  


  <script type="text/javascript" src="/blog/js/src/utils.js?v=5.1.0"></script>

  <script type="text/javascript" src="/blog/js/src/motion.js?v=5.1.0"></script>



  
  

  
  <script type="text/javascript" src="/blog/js/src/scrollspy.js?v=5.1.0"></script>
<script type="text/javascript" src="/blog/js/src/post-details.js?v=5.1.0"></script>



  


  <script type="text/javascript" src="/blog/js/src/bootstrap.js?v=5.1.0"></script>



  



  




	





  





  





  
    <script type="text/javascript">
      (function(d, s) {
        var j, e = d.getElementsByTagName(s)[0];
        if (typeof LivereTower === 'function') { return; }
        j = d.createElement(s);
        j.src = 'https://cdn-city.livere.com/js/embed.dist.js';
        j.async = true;
        e.parentNode.insertBefore(j, e);
      })(document, 'script');
    </script>
  



  
  

  

  

  

  


  

</body>
</html>
